Reading Time: < 1 minute Met het bestand robots.txt (te plaatsen in de root van je website) kan je een deel van je website afschermen van spiders, of slechte robots (die bv. op zoek zijn naar e-mailadressen). Bjoernsworld (DE) How to keep bad robots, spiders and web crawlers away (Fleiner) How to Set Up a … Continue reading Robots.txt